本文是CVPR 2020 Tutorial: How to write a good review（如何写好论文/评审）的概述（一直想看完这个tutorial，但是我发现自己如果不做笔记看个十分钟视频就要开始玩手机了23333，所以只好整理了这篇文章。高中生在线写观后感ing）。

原视频链接：

B站链接：

组织这个Tutorial的初衷：因为科研社区的快速增长，近年来论文的提交量成指数上升，这也造成了对评审员的需求急速上升，但评审的质量却没得到保障，这就造成了为什么每次论文评审出结果时，社交媒体一片哀号，觉得审稿人完全没有看懂自己paper。事实也是如此，我们现在正在要求越来越年轻的学生来参与审稿，却没有给他们足够多的培训机会，很多可能刚刚做过一年科研发过一次paper。所以我们决定采取行动，来培训我们下一代的科研审稿人。

参与这个Tutorial的预期收获：

· 第一节：学会怎么写paper，怎么表达自己的idea

· 第二节：如何评价他人的工作，提供有建设性的意见

· 第三节：如何写好rebuttal，如何回答reviewer的问题

· 第四节：知道论文的最终结果是怎么出来的，论文的筛选是怎么进行的。

第一节：如何写好Paper

主讲：William T. Freeman （MIT，Google）

论文质量对作者职业生涯的影响：

重点：bad paper是有反面影响的，其次只有特别好的paper才有明显的价值（而非数量）。

如何构建一个paper：

1）从自己要解决的问题入手，为什么这个问题重要

2）简单介绍其他方法，为什么他们仍不够好（如果足够好，也就没必要写你的paper了）

3）介绍/解释你的方法，和其他方法比较，陈述其优势

4）最后，介绍相关工作（所有方法的背景来源，所做实验的背景等）

一个paper的架构样例：

写一个重量级的（dynamite）Introduction！

Kim Kajiya：你要让你的paper易于理解，让任何读者都知道这是关于什么的，解决了什么问题，为什么这个问题有意义，你的方法创新点在哪，你的解决方案有多么优雅（neat）。这些都需要在最开始就陈述清楚（夺人眼球，勾起reviewer兴趣）。

如何介绍论文的Main Idea

可以从一个简单的例子开始，不必是真实的数据，只要简单直接，能清楚地陈述你的方法就可以，重点是让人理解你的方法要做啥，为啥有效。

关于实验：

（调侃了一下，现在刷SOTA（state-of-the-art）的风气）对比其他相近方法，列出数据，解释为什么你的方法好。不只是数据，解释同样重要，让你的提升有说服力。

关于结尾:

讲者表示了下自己个人最不喜欢的是以future work结尾。可以概述下自己的方法，如果一定要说未来要做的（目前没做的），也不要说的太细，只要说大方向就好。

写作建议（General Writing Tips）:

Knuth: keep the reader upper-most in your mind (每一部分都想着，读者目前了解到哪一步了，读者之后期待文章会写什么，以及为什么)

讲者：Treat the reader as you would a guest in house（预料他们的需求，他们是不是要喝茶了，是不是要吃点心了，吃完了需要休息会吗）

总的来说就是站在读者的角度写文章。

一些比较细节的建议：

1.去除不必要的词语

2.反复修改，精简

3.人们看你的paper的认真程度的分布，2333333，太过于真实

不过这不代表细节不重要，最后一类才是你最重要的读者（引你paper的）

4.怎么构建图和图片注释

尽量让图片和图注释能完整陈述你的方法，读者可以直接看图就理解（服务粗读型读者）。

5.关于公式（Knuth & Mermin的看法）

很多人刚开始粗读的时候，都会略过复杂的公式，所以尽量让读者即便不看公式也不影响阅读，假设所有的复杂公式都用‘balabala’替代后还能看得懂idea。

6.用词尽量友好

和其他方法比的时候，不要用太激烈的措辞鄙视之前的工作（23333我老板也说过，因为这些paper的作者很可能是你的reviewers）。正确的做说法是：大家都很好，只是你的更好，之前的方法有小小的局限233333。

7.关于过度吹嘘问题和诚信

虽然现在有这个趋势，过度吹嘘自己的工作，但是最好还是自己主动陈述方法的局限，而不是等着reviewers或followers来指出。讲者认为这种paper更有可信度，也更能树立一个好的学术声誉，过度吹牛可能会让人碰运气中一篇paper，但是对于职业生涯却会有长期的有害影响。（这点确实，如果一个paper过度吹嘘自己的结果，我follow了之后失望过一次，发现不能复现结果，可能之后我就再也不会认真看这个人的其他paper了）。

8.作者列表

总的来说，如果你觉得这个人对你的paper有任何有益的影响，你想加的话就可以加，作者数量本身并不重要。当一篇优秀paper的很多作者中的一个，比当一个普通paper的前几作更有意义。（所以大家也对所有实验室的小伙伴和科研圈的同僚友好点233333，说不定你对别人的某次帮助/指导，以后就让自己进了作者列表23333，学术圈是个互助互利的圈子，而非零和游戏。我知道国内一些组有不良的内部竞争，这其实是不好的趋势，合作才能双赢。）

9.最常见最容易出现的paper被拒的原因

10.区域主席（AC）眼中的paper类型

1）1/3的paper明显就要被拒，2）偶尔有些paper从idea到结果到写作都非常好，会被选为oral，3）其他的borderline论文又分为两类：蟑螂型paper和有残疾的可爱小狗型paper，前者是那种很会写，很难找到明显reject的理由，但就是让人觉得没意思，没明显价值和提升想要拒的paper，后者是非常有意思，非常激动人心的paper，但是却有明显的缺陷。后者一般好好改，即便这次不中下次一定也可以中。（哈哈哈哈哈，太真实了）

结束语：

第二节：如何写好Review

主讲：Rick Szeliski（Facebook），Jordi Pont-Tuset（Google），Fatma Guney（Koc University），Konrad Schindler（ETH Zurich），Michael Goesele（Facebook）

主讲一Rick Szeliski：ECCV / SIGGRAPH评审格式

空出足够时间：

在review前先做好规划，空出足够时间。避免在deadline前仓促review，造成质量的下降。

读paper时：

1. 做标记，做备注（PDF一般都支持）。

2. 花足够时间去看paper，尊重作者的工作，他们可能花了好几个月。

3. 确保理解内容，如果有不懂的前置工作，去读一下。当作是自己学习的机会，而不是负担。

总结paper：

1. 用自己的语言总结paper（理解）

2. 为什么这个paper有价值

3. 方法的优点和缺点，不必重复作者的

4. 给作者的建议（之前应该就做好pdf标记，比如笔误，表达错误，缺少引用等）

评价paper：

1. 总结优点和缺点（支持你的评价）

2. 不要根据主观感受，而是对比优缺点

3. 记住你的review意见是为AC的最终决定提供帮助的

4. 认真阅读其他reviewer的意见，以及rebuttal，可以对最终意见和打分做出适当调整。

5. 把review和rebuttal看成是和作者的交流

讨论paper:

这主要是说老师让自己学生代审paper的情况。（哈哈哈哈哈，我觉得这种老师应该不会看这篇文章）即便让学生代审，也记得自己花个几十分钟过一遍paper。但是切忌和不相干的人讨论自己审的paper。（毕竟是匿名审稿，而且你无法保证和你讨论的人的人品，万一他去抄袭idea了呢）

总结：

1. 花足够时间

2. 当作自己学习的机会

3. 也记得帮助作者，给他们提供意见

4. 帮助评审会的区域主席等，更好的了解/评价paper

（所有的建议和提出的问题都要详细解释，不要给个笼统的好或不好。review的目的是让作者提升/改进paper，而非只是单纯的打分。）

主讲二Jordi Pont-Tuset：How to be a good reviewer

前期准备：

1. 收到review邀请邮件，详细阅读

2. 确认时间，待审量，检查流程（流程经常会改变，所以即便是老手也要认真阅读）

审稿中：

1. 当系统分配下来要审的paper后，先确认下有没有利益冲突，以及是否匹配你的方向和专业（不想审的可以和AC反应）

2. 一篇一篇审，看完一篇写一篇review，不要统一看统一写。（谁会统一看统一写。。）

3. 认真读paper，做好标记（笔误，缺引用，以及其他问题）

4. 关于优缺点，建议分好主次，归类（比如笔误放在一起写）。

5. 你的任何观点，都要解释清楚，必要的话给引用

6. 可以对某个领域的paper的review做好归类整理，方便你下次review这个领域paper的时候参考。

后期工作：

1. 认真阅读rebuttal，记得看下之前提出的问题，一一对应看他们的回复。

2. 还有问题可以写在final justification里

3. 参与讨论（一般流程中会有和其他reviewer讨论的阶段）

4. 尽量不要敷衍rebuttal，还是那句话，尊重作者的工作，都是要发paper的，谁也不希望自己的paper被敷衍。

总结：

认真对待每一个步骤，不要偷懒。

因为这一节主讲的人太多了，很多点都重复了。后面的主讲，我就跳过我觉得重复的部分，只写之前没提到的点。

主讲三Fatma Guney：

主讲四Konrad Schindler：创新Novelty

（这个很有意思，有空的话建议看下原视频）

哈哈哈哈哈，下图是个虚构的bad review example，不要当真啦。

创新：

虽然我们都不喜欢琐碎的（trivial）的工作，但是几乎没有一个工作是完全的“新”的。所以什么样的paper可以说是有新意的呢：

1. 一个别人没想过的问题，或者解决问题的角度

2. 一个已知问题的新解决方法

3. 更好的理解和分析（解释已知现象/已有工作）

4. 更好的实验结果

重点不是这篇paper你是否感兴趣，而是要想想是否有人会对这篇文章感兴趣。

创新的层级：

关于实验效果：

1. 如果有创新，不必执迷于SOTA

2. 单纯的好的实验结果，不代表有创新（可能只是调参，更好的机器，外部数据，过拟合）

3. 没有真实数据的实验结果不一定是坏事，可能有些任务就是很难采集真实数据，只能靠人造数据。

4. 舒适区内的偏见：reviewer会更倾向于认可他直觉上觉得可行的方法，不过这个是个偏见，审文章时，具体的分析创新性和有效性的时候要克服这种天然的偏见。

创新的ideas vs. 愚蠢的ideas：

总的来说还是克服舒适区，以及更加包容。

不用过度夸大优雅的方法也不用过度贬低复杂的方法。

主讲五Michael Goesele：

参考A quick guide to writing a solid peer review：https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2011EO280001

补充：

第三节：如何写好Rebuttal

主讲：Andrew Fitzgibbon（Microsoft）

这老哥特别逗，说自己对review界的最大贡献是，他在cvpr模板中引入了页边行数。（哈哈哈哈，还写到了自己CV里）。不过review阶段确实特别有用，方便解释自己的某个问题来自于原文的哪几行。

Rebuttal的必要性：

1. Reviewers不是万能的，很多时候reviewers的问题来自于他们自己的误解，没读懂paper，当然原因可能也是因为作者自己没说清楚。而这些误解可能会导致不恰当的最终打分。

2. 很多时候如果有Reviewer给了不当的打分，即便他自己没改分，合理的rebuttal也能帮助其他reviewers和ACs理解你的paper。

如何写Rebuttal：

总结：

1）冷静。2）礼貌。3）准确。4）把rebuttal看作纠正自己错误的机会。5）注意你是写给谁的（reviewers & AC）。6）利用这个机会学习

第四节：论文评审的完整流程

主讲：Vittorio Ferrari（Google），Greg Mori（Borealis AI，Simon Frasier University）

论文提交到接收的流程：

一些数据和趋势：

Reviewers分配标准：

最终论文接收决定流程：

结束语：每个reviewer也都当过论文作者，希望大家不管是审别人文章还是自己写文章都一样认真。不要草率的对待别人的文章。不管自己写文章还是给别人写审稿意见时，都尽量措辞更友善一点，毕竟出来混总是要还的23333。也不要吝啬给出自己的有建设性的意见，学术界不是零和游戏。最后，希望大家都paper多多。